OpenAI文生视频AI工具Sora已发布数十个视频,快手展现了AI文生视频的盟何新可能。第一财经记者了解到,播放刷推特关注随着多个文生图、量上文生视频软件发布,快手已有不少视频制作者开始制做AI视频。盟何
例如,播放近日发布的量上一个用AI技术生成的《西游记》近4分钟动漫短片凸显了石猴从降生到拜师学艺的过程,花果山水帘洞内的快手水流、植物和摆饰疏密,盟何天庭依山而建,播放视频还展示了孙悟空坐船抵达城镇、量上刷推特关注来到灵台方寸山的快手过程。画面中,盟何山峦烟雾缭绕,播放水面有枯叶等细节,街景呈现了唐代衣着的行人、门楼和商店。这段视频发布在抖音和bilibili上,在bilibili有超70万观看。另一个与AI制做的《大闹天宫》预告片在bilibili上有超100万播放量,画面中,天庭的坐椅、服饰透漏着庄重,镂空的器皿凸显出设计细节,人物脸部表情自然。
一些AI制做的MV或预告片、宣传片也在视频平台上获得数十万播放量。例如,一个植物版《恭喜发财》MV有多个仓鼠穿着黑色传统服装的画面,并弹奏多种钢琴、骑单车、写钢笔字,画面细节丰富,动物毛发细节清晰。广西央视也在网上放出了全AI制做的蛇年宣传片。据记者观察,这些AI视频的共同点是画面清晰且富于细节,但每位分镜的时长只有几秒如何播放量上十万,人物讲话时还无法匹配适宜的嘴型,画面的连贯性和叙事性相比影视仍存在距离,这些特性使目前AI视频更适宜制做预告片、MV等对叙事要求不高、对画面冲击力要求较高的中短视频。
与视频创作者已在使用的多个AI视频制做工具不同,Sora在视频时长上有显著优势,可直接生成60秒视频,但Sora目前还未对外开放使用。记者发觉,不少AI制做视频都使用AI绘图工具先生成图片,再使用图生视频工具生成AI视频。例如,以上近4分钟的《西游记》动漫的创作工具是AI绘图工具Midjourney和图生视频工具Runway,构思阶段采用了ChatGPT剖析原著文字并规划分镜,随后通过剪映剪辑。以上《大闹天宫》预告片也使用Midjourney和Runway制做,剧本设计使用了大语言模型辅助。
发布以上《西游记》动漫的博主“AI疯人院”从事美术工作15年,他表示,该视频若果人工制做起码须要半年,而自己在AI的帮助下一周就完成了。但他同时强调,绘图和图片生成视频的过程就会形成废稿,AI还很难完全理解创作者的意图,存在随机性。发布《大闹天宫》预告片的博主则在评论中称,AI迭代太快,要弄成三个半小时的影片预计可以在两年内。但也有网友针对AI视频评论称,AI生成仍变得麻木、像PPT、风格仍不够贴合主题。
市面上目前可生成AI视频的工具还包括微软Gemini、阿里云12VGen-XL等。阿里云在一个视频中介绍,生成视频不需美术和编导基础如何播放量上十万,创作者可以在魔搭创空间找到MotionAgent AI应用,通过该应用,在生成剧本时用到Qwen-7B-Chat大模型,在文生图时使用Stability的SDXL模型,再由图片生成视频,阿里云的视频生成软件是开源的12VGen-XL,音乐也可以通过提示词AI生成。
有影视制作者向第一财经记者表示,AI技术已在视频制做中应用,在平面设计上疗效挺好,但在AI视频中,目前逐帧光影衔接还有问题,从Sora放出的视频看,也存在逐帧的衔接问题。
2023年至今,与AI视频、图片相关的技术还在持续迭代。例如,此前香港科技大学、蚂蚁团队、浙江大学CAD&CG实验室合作的项目CoDeF,其算法能按照提示词对视频进行风格转换,香港大学、阿里巴巴和蚂蚁集团的新成果Anydoor可实现图片中物体瞬间移动,学界还有研究团队探求图象修补和还原技术。
(责任编辑:综合)